Năm 200, Tôn Sách qua đời, các trưởng lại đều muốn đến dự tang, Ngu Phiên khuyên không nên vì vùng núi xung quanh còn nhiều người không thần phục, nên ở lại canh giữ. Ông chỉ mặc áo tang ở lại nhiệm sở trông coi. Các huyện đều bắt chước theo ông, vì vậy được yên ổn.

Em Tôn Sách là Tôn Quyền kế vị. Anh họ Quyền là Tôn Cảo đóng đồn ở huyện Ô Trình, chỉnh đốn quân, muốn đánh lấy quận Cối Kê. Ngu Phiên bèn đến dụ Tôn Cảo, Cảo bèn rút lui.

Sau đó Ngu Phiên được châu cử làm mậu tài, Tào Tháo nhân danh Hán Hiến Đế gọi ông làm Thị ngự sử, còn Tào Tháo cũng đích thân gửi thư mời, nhưng ông đều không nghe theo, tỏ ý coi thường Tào Tháo và ở lại giúp Tôn Quyền.

Ngu Phiên gửi thư cho Thiếu phủ Khổng Dung (đang phục vụ cho Tào Tháo ở Hứa Xương), cho xem bản chú Kinh Dịch mà mình soạn. Khổng Dung đáp thư tỏ ý rất ngưỡng mộ ông. Cối Kê đông bộ đô úy là Trương Hoành lại gửi thư cho Khổng Dung cũng tỏ ý khen ngợi Ngu Phiên.

Tôn Quyền phong Ngu Phiên làm Kị đô úy. Ông nhiều lần can gián phạm vào ý trên, Quyền không được vui, tính lại không hòa hợp với mọi người, cho nên nhiều lần bị gièm pha, bị bắt lỗi đày đến huyện Kính quận Đan Dương.

Năm 219, Lã Mông mưu đánh Quan Vũ, giả bệnh về thành Kiến Nghiệp, vì thấy Ngu Phiên biết cả nghề y, xin được theo học. Sau đó Lã Mông đem quân sang phía tây, Thái thú Nam Quận của Quan Vũ là Mi Phương mở cửa thành ra hàng; Ngu Phiên khuyên Lã Mông nhanh chóng mang quân vào chiếm thành để ngăn ngừa những thủ hạ của Phương không thần phục có thể chống lại. Lã Mông nghe theo, vì vậy ngăn cản được một số thủ hạ của My Phương định phục binh trong thành đánh quân Ngô.

Quan Vũ thua chạy, Tôn Quyền sai Ngu Phiên bói xem. Ông dự đoán trong 2 ngày sẽ chém được Quan Vũ. Quả nhiên sau đó chiến sự đúng như lời ông, nên Tôn Quyền rất khen ngợi.

Tướng Ngụy là Vu Cấm bị Quan Vũ bắt trói trước đó ở trong thành, được Tôn Quyền thả ra. Ngu Phiên tỏ ý phản đối việc trọng đãi Vu Cấm. Sau đó Tôn Quyền hòa với Ngụy để chống Thục, định thả Vu Cấm. Ngu Phiên rất phản đối, đề nghị chém Cấm để phòng sau này Cấm quay lại cầm quân đánh Ngô. Nhưng Tôn Quyền không nghe, dùng lễ tiễn đưa Vu Cấm. Vu Cấm dẫu bị ông ghét nhưng vẫn khen ngợi ông. Tào Phi nghe nói về Ngu Phiên rất ngưỡng mộ, đặt sẵn ghế trống trong triều tỏ ý muốn thu dụng ông.

Năm 222, Tôn Quyền được Tào Phi phong làm Ngô vương. Tôn Quyền và Trương Chiêu bàn luận về chuyện thần tiên, Ngu Phiên tỏ ý không đồng tình, bài xích Trương Chiêu. Tôn Quyền tức giận bèn đày ông đi Giao Châu.

Đến Giao châu, Ngu Phiên vẫn tiếp tục dạy học, học trò có đến mấy trăm người. Ông còn chú giải các sách Lão Tử, Luận Ngữ, Quốc Ngữ, đều được lưu truyền đời sau[4].

Tuy bị lưu đày, Ngu Phiên vẫn quan tâm tới việc nước. Năm 233, tướng Liêu Đông của nước Tào Ngụy là Công Tôn Uyên sai sứ đến Đông Ngô xin kết giao. Tôn Quyền mừng rỡ, định sai đặc sứ đến Liêu Đông phong Công Tôn Uyên làm Yên vương để hy vọng cùng giáp công đánh Ngụy. Ngu Phiên nghe tin, muốn can nhưng không dám, soạn biểu gửi cho thứ sử Quảng châu là Lã Đại xem. Tuy nhiên Lã Đại không báo cho Tôn Quyền.

Sau đó Công Tôn Uyên đổi ý, giết chết sứ giả Đông Ngô do Tôn Quyền phái đi là Hứa Yển và Trương Di, thu luôn 1 vạn người của Đông Ngô làm thuộc hạ. Tôn Quyền ân hận, nghe tin Ngu Phiên có ý can ngăn, bèn hạ lệnh sai người đến Giao châu thăm hỏi, nếu ông còn sống thì cấp cho thuyền người, sai phải về kinh, nếu đã chết rồi thì đem tang về bản quận, sai con trai làm quan. Tuy nhiên đúng lúc sứ giả đến nơi thì Ngu Phiên đã qua đời, thọ 70 tuổi.

Ngu Phiên ở Giao châu hơn mười năm, được đem về táng ở quê nhà; vợ con ông được dời Giao châu trở về.